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Оценка качества обучения является одним из 
основных факторов повышения эффективности 
образовательного процесса в высшей школе в це- 
лом. В условиях обеспечения индивидуального 
подхода к каждому обучаемому очень важно корре- 
ктно провести качественный и количественный 
анализ их знаний и умений [1]. Такой анализ явля- 
ется сложной многофакторной зависимостью с 
большим числом переменных. Проведение подоб- 
ного анализа часто требует больших затрат сил и 
времени на проведение статистических расчетов. 
Оценивание качества обучения с использованием 
компьютерных технологий позволяет значительно 
сократить время и трудозатраты анализа и повыша- 
ет информативность результатов. 

Разработанная авторами технология оценки ка- 
чества обучения студентов базируется на эксперт- 
но-статистических алгоритмах, предназначенных 
для решения прикладных задач, и позволяющих 
создать единый комплекс программного обеспече- 
ния. Результаты анализа могут быть представлены 
в виде таблиц и графиков. 

Программный комплекс имеет дружественный 
пользователю интерфейс, гибкую систему настро- 
ек, сопровождается пакетом справочной информа- 


ции и представляет собой набор стандартных 
\Уіпбо\ѵ8-приложений, отвечающих всем совре- 
менным требованиям программного продукта для 
операционных систем \Ѵіпс1о\ѵ$ 95/98/ІЧТ/2000. Ук- 
рупненная схема комплекса представлена на рис. 1. 

Все базовые функции системы разделены на два 
логических блока: 

1. Блок компьютерного тестирования. 

2. Универсальный блок анализа результатов экс- 
пертного оценивания, подробное описание ко- 
торого приведено в [2, 3]. 

Блок компьютерного тестирования предназна- 
чен для обработки данных педагогического и пси- 
хологического тестирования и является базовым в 
системе поддержки принятия решения по результа- 
там компьютерного тестирования. 

Одной из нерешенных проблем, с которыми в 
настоящее время в той или иной мере сталкивают- 
ся все вузы, является проверка остаточных знаний 
студентов. Процедура и условия ее проведения, как 
правило, недостаточно продуманы, а в ряде случа- 
ев к ней относятся как к формальному дежурному 
мероприятию. Главными и типичными недостатка- 
ми проверки являются подмена остаточных знаний 
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в качестве ее объекта знаниями "текущими" и спи- 
сывание студентами ответов на поставленные воп- 
росы. В связи с этим в настоящее время для про- 
верки остаточных знаний все чаще используется 
метод педагогического тестирования [4] . 

Тестирование на основе компьютерных техно- 
логий официально признано основным средством 
диагностики качества знаний в проекте Федераль- 
ного закона "О государственном образовательном 
стандарте основного общего образования" [5]. Сов- 
ременный уровень развития вычислительной тех- 
ники и внедрение компьютеров в учебный процесс 
делают возможным автоматизацию тестового 
контроля. 

В настоящее время существует огромное коли- 
чество компьютерных систем для контроля знаний 
студентов [4, 5,6]. Основным недостатком сущест- 
вующих программных продуктов является отсут- 
ствие блока анализа результатов тестирования (или 
существование его в автономном виде). 

На рис. 1 представлена разработанная авторами 
информационная технология оценки качества обу- 
чения. Для оценки остаточных знаний разработана 
программа К.ЕМ8ТАТЕ, которая включает два бло- 
ка - генератор тестов (с возможностью конструи- 
рования всех существующих форм тестовых зада- 
ний) и анализатора, включающего модуль статис- 
тической обработки и анализа результатов тестиро- 
вания. 

Оценка и анализ результатов педагогического 

тестирования 

Успех участника тестирования в решении опре- 
деленного тестового задания зависит, в основном, 
от двух факторов: трудности задания и подготовлен- 


ности испытуемого [6] . При этом только в тривиаль- 
ной ситуации можно утверждать наверняка, что оп- 
ределенный человек решит определенное задание 
верно (неверно). В общем случае успех в решении 
заданий теста имеет вероятностный характер и, сле- 
довательно, можно говорить о его количественном 
измерении некоторым числом р из отрезка [0...1]. 
Таким образом, вероятность того, что определен- 
ный участник тестирования верно решит опреде- 
ленное задание, представляет собой функцию успеха 
[6] двух аргументов - уровня подготовленности ис- 
пытуемого .у и уровня трудности данного задания Г 

Р=р(з, г) =/>,(<?), где Е, = а/і. 


Простейшая модель вероятности успеха, предс- 
тавляющая собой однородную функцию 1-го по- 
рядка предложена датским математиком Г. Рашем 
(С. КазсН) [7, 8] и имеет вид: 


Р = Р(з, 0 = — 
з + г 



$ 

1 + 5 ' 


( 1 ) 


Функция (1) позволяет наглядно интерпретиро- 
вать процесс выполнения задания трудности ( 
участником тестирования с уровнем подготовлен- 
ности х с помощью классической модели теории 
вероятностей. Если 1п 5 = Ѳ, 1п ( = 8 => 5 = е в , Г = е 3 , 
то функция успеха (1) принимает вид 


Р=^Г—Т 

е +е 


1 

1 + е в -° 


( 2 ) 


и называется основной логистической моделью Раша. 

Здесь р - вероятность того, что участник тестиро- 
вания с уровнем подготовленности Ѳ правильно вы- 
полнит задание трудности 8. Вероятность успеха за- 
висит только от одного параметра - разности (Ѳ-8), и 
потому модель (2) является однопараметрической [6]. 



- XI (-1.96) 
т Х2 (-1.24) 
ХЗ (-0.73) 
Х4 (-0.47) 
т Х5 (-0.09) 
•Х6 (-0.04) 
Ш Х7 (0.00) 
-Х8 (0.17) 
Х9 (0.22) 
Х10 (0.26) 
XII (0.4) 
Х12 (0.49) 
Х13 (1.61) 
Х14 (1.81) 
XI 5 (2.11) 
- Х16 (3.15) 


Рис. 2. Характеристические кривые трудности заданий теста по модели Раша 
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На рис. 2 представлен результат обработки дан- 
ных тестирования по дисциплине "социология" 
студентов IV курса ТПУ на основе модели Раша [3]. 
Тест состоял из 16 заданий, которые в дальнейшем 
тексте будут обозначены как Х ; . 

Характеристические кривые демонстрируют ве- 
роятность правильного ответа на задание опреде- 

нем подготовки Ѳ. По построенным графикам оп- 
ределяется трудность задания. 

В данном случае наиболее трудным по отноше- 
нию к остальным оказалось задание, имеющее уро- 
вень трудности 3,15, а самым легким - с уровнем 
трудности - 1,96. На эти задания рекомендуется 
обратить особое внимание разработчику теста. 

Формулу Раша (2) для условной вероятности 
правильного выполнения у-ого задания теста испы- 
туемыми с различными значениями Ѳ в случае 
двухпараметрической модели А. Бирнбаума можно 
переписать в виде [7] 


В формуле (3) кроме прежних обозначений вво- 
дится новое йу - для второго параметра у-ого зада- 
ния теста. 

При геометрической интерпретации первый 
параметр можно рассматривать как характерис- 
тику положения кривой у-го задания относительно 
оси Ѳ. Второй параметр а, связан с крутизной кри- 
вой задания в точке ее перегиба. А именно значе- 
ние й, прямо пропорционально тангенсу угла нак- 
лона касательной к характеристической кривой за- 
дания теста в точке Ѳ = <5у. Это означает, что более 
крутые кривые соответствуют большим значениям 


йу, соответственно для пологих кривых й, — > 0. Та- 
ким образом, значения йу, близкие к нулю, соотве- 
тствуют случаю, когда испытуемые с разными 
уровнями подготовки правильно отвечают на у'-ое 
задание с приблизительно равной вероятностью, 
что, естественно, противоречит ожидаемым прог- 
нозам разработчика теста. Эти задания оказывают- 
ся бесполезными при дифференциации испытуе- 
мых группы по оцениваемому параметру, так как 
они не несут информации об индивидуальных раз- 
личиях студентов [4]. 

Еще более бесполезны задания с отрицательны- 
ми значениями йу. На них отвечают правильно с 
большой вероятностью испытуемые с низким уров- 
нем подготовки, а для знающих студентов с боль- 
шими значениями Ѳ вероятность правильного отве- 
та стремится к нулю. Число заданий в тесте должно 
сокращаться в первую очередь за счет устранения 
таких неудачных заданий даже в том случае, когда 
другие их характеристики устраивают разработчика 
теста. Как правило, такое сокращение приводит к 
повышению надежности и валидности теста. 

Проведенный анализ выявляет роль параметра 
йу при дифференциации испытуемых. Соответ- 
ственно параметр йу получил название дифференци- 
рующей способности у-ого задания теста [4]. Форму- 
ла для оценки параметра дифференцирующей спо- 
собности у-ого задания теста имеет вид: 



где Гщ - бисериальный коэффициент корреляции 
у-ого задания. 

Теоретически значения параметра йу могут из- 
меняться в интервале (- 00 ...+ 00 ), но практически 



-XI (-1.96) 
Х2 (-1.24) 
ХЗ (-0.73) 
-Х4 (-0.47) 
-Х5 (-0.09) 
-Х6 (-0.04) 
-Х7 (0.00) 
-Х8 (0.17) 
Х9 (0.22) 
XI 0 (0.26) 
-X1 1 (0.4) 
XI 2 (0.49) 
XI 3 (1.61) 
-Х14 (1.81) 
Х15 (2.11) 
-Х16 (3.15) 


Рис. 3. Характеристические кривые трудности заданий теста по модели Бирнбаума 
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далеко не все эти задания можно включать в тест. 
Анализ характеристических кривых заданий оди- 
наковой трудности, но разной крутизны позволяет 
отобрать лучшие задания и определить разумные 
границы интервала для значений параметра щ. 

Отбор заданий с большими значениями а, явля- 
ется одним из важных принципов при конструиро- 
вании нормативно-ориентированного теста. Ми- 
нимизация длины теста за счет удаления части 
лишних заданий равной трудности строится на 
сравнительном анализе крутизны характеристи- 
ческих кривых с точкой перегиба, имеющий оди- 
наковые координаты. Процесс минимизации поз- 
воляет выделить одно наиболее эффективное зада- 
ние с наибольшим значением параметра а,. На 
практике рекомендуется, как правило, оставлять 
задания со значениями а,, лежащими в интервале 
(0,5. ..2, 5) [4]. Значение а, = 1 соответствует однопа- 
раметрической модели Раша. 

На рис. 3 представлены результаты обработки 
данных тестирования студентов IV курса ТПУ по 
дисциплине "социология" на основе модели Бирн- 
баума [3]. 

В таблице представлены значения параметра 
для каждого задания теста X,. 

Таблица. Значения параметра а^для каждого задания X ) 


Лз 

Лз 

X 

X, 

X 

X 

Л 

л ; 

0,34 

0,42 

1,07 

0,82 

0,74 

0,93 

0,63 

1,13 

X 

Лз 

Хс 

X 


Л 

X 

X 

- 0,14 

0,63 

0,18 

0,65 

0,81 

0,72 

0,24 

0,04 


Таким образом, применение моделей Раша и 
Бирнбаума (для анализа данного теста) позволило 
сделать следующие выводы. 

1 . Подавляющее большинство заданий теста имеют 
высокую дифференцирующую способность, од- 
нако они неравномерно расположены относи- 
тельно оси подготовленности Ѳ (что свидетель- 
ствует об их однородности относительно показа- 
теля трудности и нарушает постулат о том, что 
тест-система заданий нарастающей сложности). 
Следовательно, необходимо некоторые задания 
исключить из теста. Предполагается исключить 
самые легкие и самые сложные задания, а также 
задания, имеющие идентичный показатель труд- 
ности. Для этого необходимо определить диффе- 
ренцирующую способность каждого задания. 

2. Построение модели Бирнбаума позволяет ре- 
шить задачу определения дифференцирующей 
способности заданий теста. В нашем экспери- 
менте одинаковую трудность имеют задания А), и 
Х ь Х 14 и Х 5 - это определяется по значениям логи- 
тов трудности. Рекомендуется исключить из тес- 
та задания Х п (т.к. а ш < а л ) и Х 5 (т.к. а я < а ш ). 

3. Рекомендуется исключить задание Х 2 (а п < 0), а 
также задания Х 8 (а ж = 0,04), Х т (а т = 0,18), 
X, (а л = 0,24), Х 0 (а т = 0,34). 


Включение в систему тестирования, логисти- 
ческих моделей Раша и Бирнбаума обусловливает 
важные достоинства, среди которых, прежде всего, 
необходимо отметить следующие. 

1. Превращение измерений, сделанных в дихото- 
мических и порядковых шкалах в линейные из- 
мерения. Это позволяет использовать широкий 
спектр статистических процедур. 

2. Оценка трудности тестовых заданий не зависит от 
выборки испытуемых, на которых была получена; 
оценка уровня знаний испытуемых не зависит от 
используемого набора тестовых заданий. Пропуск 
данных дж некоторых комбинаций (испытуемый 
- тестовое задание) не явжется критическим. 

3. Система тестирования достаточно проста, по 
сравнению с другими аналогичными системами 
она характеризуется наименьшим числом пара- 
метров. 

4. Модели опираются на четкие и конструктивные 
понятия "трудность задания" и "уровень зна- 
ний". Так, одно задание считается более труд- 
ным, чем другое, если вероятность правильного 
ответа на первое задание меньше, чем на вто- 
рое, независимо от того, кто их выполняет. Ана- 
логично, вероятность правильно ответа более 
подготовленного студента выше, чем менее 
подготовленного . 

5. Благодаря простой структуре модели существу- 
ют удобные вычислительные процедуры для 
многоаспектной проверки адекватности моде- 
ли: для всего набора тестовых результатов, для 
каждого испытуемого, для каждого задания и 
для каждого конкретного ответа. 

Применение результатов психодиагностического 
тестирования при оценке качества обучения 

На рис. 1 показано, что разработанная авторами 
информационная технология оценки качества обу- 
чения включает в себя как педагогическое, так и 
психодиагностическое тестирование. Остановимся 
более подробно на особенностях использования 
компьютерных технологий при анализе результа- 
тов психодиагностического тестирования. 

Данные психодиагностического тестирования, 
в основном, измеряются в трех измерительных 
шкалах: номинальной, ранговой и количествен- 
ной. Поэтому возникла необходимость разработать 
алгоритм обработки и анализа результатов психо- 
диагностического тестирования, который бы поз- 
волял работать одновременно со всей совокуп- 
ностью разнородных признаков. 

Наличие разнотипной информации в описании 
состояния объекта при решении задач классифика- 
ции и диагностики может создать для исследовате- 
ля дополнительные трудности [7, 8]. Для решения 
данных задач оценки качества обучения студентов 
вуза авторами разработана система поддержки при- 
нятия решения по результатам компьютерного тес- 
тирования, схема которой представлена на рис. 4. 
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Представленная на рис. 4 схема анализа резуль- 
татов тестирования программно реализована и 
включена в качестве отдельных модулей (каждый 
из которых может работать и в автономном режи- 
ме) в разработанное авторами программное обес- 
печение [3]. 

Для работы с разнотипными признаками разра- 
ботан алгоритм принятия решений на основе ис- 
пользования неоднородной последовательной про- 
цедуры распознавания Е.В. Гублера [3]. Достоин- 
ством выбранного нами подхода является возмож- 
ность перехода от количественной и ранговой 
шкал к номинальной шкале с произвольным коли- 
чеством градаций исследуемых признаков, в отли- 
чие от известных методов, в которых возможен пе- 
реход только к дихотомической шкале [3]. 

На первом этапе проводится корреляционный 
анализ имеющихся признаков. В зависимости от 
типа измерительной шкалы использовались: коэф- 
фициент корреляции Пирсона, ранговый коэффи- 
циент корреляции Спирмена, бисериальный коэф- 
фициент корреляции, рангово-бисериальный ко- 
эффициент корреляции, коэффициент ассоциа- 
ции, коэффициент взаимной сопряженности. На 
втором этапе проводится преобразование исход- 
ных признаков в зависимости от измерительной 
шкалы и формирование матрицы признаков на ос- 
нове корреляционного анализа и полученных зна- 
чений информативности каждого признака. На 
третьем этапе происходит построение матрицы ди- 
агностических коэффициентов и вывод решающих 
правил для принятия решения. 

С использованием описанного алгоритма реше- 
ны задачи прогнозирования [2, 3]: 

- успешности обучения студентов младших кур- 
сов на основе анализа личностных качеств; 


- успешной интеллектуальной самореализации 
студентов старших курсов на основе анализа 
показателей познавательной деятельности. 
Результаты как психологического, так и педаго- 
гического тестирования чаще всего выражены в ви- 
де тестовых баллов. Однако, окончательная инте- 
рпретация результатов тестирования связана с от- 
несением полученной числовой характеристики к 
одной из следующих градаций: очень низкий, низ- 
кий, средний, высокий и очень высокий уровень 
измеряемого качества. При установлении гранич- 
ных точек для данных интервалов присутствует 
элемент нечеткости и неопределенности. Таким 
образом, результат тестирования можно рассмат- 
ривать как лингвистическую переменную, и ис- 
пользовать для дальнейшего анализа математичес- 
кий аппарат теории нечетких множеств. 

Для решения задач оценки качества обучения на- 
иболее эффективным оказался алгоритм принятия 
решения в условиях неопределенности, основанный 
на использовании метода анализа альтернатив (при- 
нятие решений в условиях неопределенности) [3]. 

При использовании алгоритма принятия реше- 
ния в условиях неопределенности оценки объектов 
задаются как степени соответствия альтернатив по- 
нятиям, определяемым критериями. На основе ал- 
горитма принятия решения в условиях неопреде- 
ленности разработана программа для выбора аби- 
туриентом по результатам компьютерного психо- 
диагностического тестирования наиболее подходя- 
щего факультета. 

Разработанные нами алгоритмы программно 
реализованы и внедрены в Томском политехничес- 
ком университете, а также других томских вузах [3] . 

Работа частично поддержана грантом РФФИ, проект 
03 - 06-80128 


111 






Известия Томского политехнического университета. 2003. Т. 306. № 6 


СПИСОК ЛИТЕРАТУРЫ 

1. Иванкина Л. И., Берестнева О. Г, Пермяков О.Е. Современный 
технический университет: Философский и психолого-социо- 
логический аспект исследования состояния и развития уни- 
верситета. —Томск: Изд-во Том. ун-та, 2003. — 1 10 с. 

2. Берестнева О. Г., Марухина О.В. Методы многомерного анали- 
за данных в задачах оценки качества образования // Радиоэле- 
ктроника. Информатика. Управление. — 2002. — № 1. — 
С. 15-26. 

3. Марухина О.В. Алгоритмы обработки информации в задачах 
оценивания качества обучения студентов вуза на основе экспе- 
ртно-статистических методов: Дис. ... канд. техн. наук: 05.13.01 . 
— Томск, 2003. — 165 с. 

4. Челышкова М.Б. Теория и практика конструирования педаго- 
гических тестов: Учебное пособие. — М.: Логос, 2002. —432 с. 


5. Минин М.Г. Диагностика качества знаний и компьютерные 
технологии обучения. —Томск: Изд-во ТГПУ, 2000. —216 с. 

6. Нейман Ю.М., Хлебников В.А. Введение в теорию моделиро- 
вания и параметризации педагогических тестов. — М.: Проме- 
тей, 2000. — 16В с. 

7. Берестнева О.Г., Иванкина Л.И., Марухина О.В., Пермяков О.Е. 
Концепция качества образования в техническом вузе // 
Качество образования: Системы управления, достижения, 
проблемы: Материалы V Междунар. научно-методич. конф. — 
Новосибирск: Изд-во ИНГУ, 2003. — Том 1. — С. 64—68. 

8. Марухина О. В., Берестнева О. Г. Системный подход к оценке 
качества образования // Стандарты и качество. —2002. — № 4. 
-С. 35-36. 


112 




